package X4;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

// MyDriver负责整个程序的过程调度及状态协调
// Driver阶段：
//获取job对象
//指定本程序的jar包所在的本地路径
//指定 map reducer类所在位置
//指定map reducer输出
//指定文件输入输出
public class MyDriver {

    public static void main(String[] args) throws Exception{
        // windows版本设置HADOOP_HOME环境变量后，若不重启电脑，需要填加该语句
        //System.setProperty("hadoop.home.dir", "/usr/local/hadoop");
        // 注意：要设置操作用户，否则，默认是root
        System.setProperty("HADOOP_USER_NAME","hadoop");
        // 创建Configuration
        Configuration configuration = new Configuration();
        // 不设置fs.defaultFS参数，则本地读取
        configuration.set("fs.defaultFS","hdfs://192.168.43.171:9000");
        // 如果参数数量不为2，报错退出，第一个参数是读取输入数据的目录（HDFS），
        // 第二个参数是输出结果所在路径
//        if (args.length != 2) {
//            System.err.println("Usage: MyDrvier <in> <out>");
//            System.exit(2);
//        }
        // 如果输出目录存在，则删除
//        Path mypath = new Path(args[1]);
//        FileSystem hdfs = mypath.getFileSystem(configuration);
//        if (hdfs.isDirectory(mypath)) {
//            hdfs.delete(mypath, true);
//        }
        //创建Job
        Job job = Job.getInstance(configuration, "wordcount");
        //设置job的处理类
        job.setJarByClass(MyDriver.class);
        //设置作业处理的输入路径在执行时，需要输入input及output目录，执行完毕在output目录查看结果文件内容。
        FileInputFormat.setInputPaths(job, new Path("/data/word.data"));
        //设置map相关参数
        job.setMapperClass(WordCountMapper.class);
        //设置Map阶段的输出类型: k2 和V2的类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(LongWritable.class);
        //分区，排序，规约，分组步骤采用默认方式
        //设置reduce相关参数
        job.setReducerClass(WordConutReducer.class);
        //设置Reduce阶段的输出类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(LongWritable.class);
        //设置作业处理的输出路径
        FileOutputFormat.setOutputPath(job, new Path("/data/word.4"));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }

}